#frozen embeddings - AI Papers Daily

PALATE: Pretrained Autoregressive LATent Embeddings

PALATE：预训练自回归潜在嵌入用于广告排序

🧭 生成式用户表示 · 广告排序 ★ 深度解读

DoorDash

用 GPT 式序列模型学习用户门店互动，以 last-token 隐藏向量作为冻结用户表示接入排序，双场景显著提升收入与转化

📌 工作参考价值（4 点）

冻结用户 embedding + daily batch inference 是低成本把序列个性化接入多 surface 的方式：比在每个 ranker 内建 DIN/Transformer 更易维护，DIN 增量仅 +0.03%，证明一个共享表示可覆盖大部分收益。
在复购/重购型电商，用探索加权 loss 打破 repeat 主导：对新商家/新交互给 9:1 或 3:1 的权重，能明显提升对新商品的召回和新意图表达；业务上对应拉新/发现场景。
负样本设计可替代 exact softmax：固定热门池 + 曝光未转化 + random + in-batch，成本低且 Recall 更好；对高基数 item vocab 的场景可直接迁移。
两阶段课程：先 click 预训练再 conversion 微调，并 warm-start，可以保留浏览广度同时锐化转化意图；适合有 click→purchase 漏斗的电商/广告场景。

RecSys | 2026-10-29 | cs.IR | score 9/10

超越最终 Embedding：从 Token 级证据中检索记忆

🧭 RAG 记忆检索 · token 级匹配 ★ 深度解读

Southeast University · MemoraX AI · Leiden University · University of Sydney

冻结 embedding 的 token 级稀疏匹配融合整句相似度，无需训练提升记忆检索

📌 工作参考价值（4 点）

可复用现有 embedding 模型已经算好的 token hidden states：给商品/内容/会话记忆建 token 级 HNSW 索引，query token 检索后按 source memory ID 聚合，再与整向量相似度做 query-wise 标准化融合。无需训练 encoder 或重建文档索引，适合快速在现有召回链路上加一层局部证据信号。
工程实现上，保留 token 到 memory/item 的 ID 映射，聚合时用检索到的最后一个 token 的 clipped similarity 作为缺失分 floor，能显著减少 HNSW 漏召回的影响；k=64、α=0.5 在多个 backbone 上稳定，可直接作为默认参数。
可选的 LoRA query adapter 只训练 query token states，保持 item/memory 侧索引完全不变，对商品库频繁更新、多租户场景很友好；上线只需替换轻量 query 头。
存储与延迟权衡：token 索引不压缩会大很多，但 SQ4 可压缩 81–85%，质量几乎不降；大规模商品/内容索引可优先上 SQ4，进一步降本可试 RP128+SQ4，但质量损失更明显。

RAG | 2026-10-09 | cs.IR | score 8/10